Projekt der TU Dresden im Verbundvorhaben „E-Assessment und Kompetenzmessung“
Der Arbeitskreis E-Learning der LRK Sachsen (AK E-Learning) initiiert und betreut in den Jahren 2022/23 fünf Verbundvorhaben im Auftrag der Landesrektorenkonferenz Sachsen (LRK Sachsen) und in Abstimmung mit dem Hochschuldidaktischen Zentrum Sachsen (HDS). Die Vorhaben werden vom Sächsischen Staatsministerium für Wissenschaft, Kultur und Tourismus (SMWK) finanziell unterstützt.
CACAO ist ein angewandtes Forschungsvorhaben, um Medienkompetenzmessung und formatives E-Assessment in digitalen kollaborativen Lernplattformen zu verankern. Diese Verankerung soll mit einem pädagogischen Chatbot bewerkstelligt werden, welcher Datenspuren der Lernplattform auswertet und weiterverarbeitet, um Lernenden sowie Lehrenden Rückmeldung zur Medienkompetenz zu geben und Verbesserungspotenziale aufzuzeigen. Der Chatbot gibt dieses Feedback teilautomatisiert an die Lernenden weiter und macht die Lehrenden mit Hilfe von Datenvisualisierungen selbstständig auf Probleme aufmerksam. Dies entlastet die Lehrenden und steigert zeitgleich durch exakte Daten die Qualität des formativen Assessments. Die Qualitätssteigerung und die resultierende individuellere Betreuung erhöhen wiederum den Lernerfolg.
Im Interview mit Prof. Dr. Eric Schoop (TU Dresden) erfahren Sie mehr zu diesem spannenden Teilvorhaben.
Herr Prof. Schoop, wie ist Ihr Vorhaben „CACAO“ bisher verlaufen?
Professor Schoop: Wie üblich in Zeiten schnellen Wandels und hoher Personalfluktuation. Beantragt von Person A, nach Bewilligung kurz angearbeitet und dann an Person B in Kooperation mit Person C übertragen. Ab 1.8. realisisiert Person C das Projekt alleine, A und B sind ausgeschieden. Die Projektarbeit verläuft geräuschlos auf einer 50 % Projektstelle neben den auf anderer Seite per 50 % Haushaltsstelle abzudeckenden Lehr- und Verwaltungsaufgaben. Alle avisierten Meilensteinergebnisse konnten bisher erreicht werden.
Welche Ziele verfolgen Sie mit Ihrem Projekt?
Professor Schoop: Das Projekt CACAO setzt die Ziele von zwei Vorlaufprojekten in der sächsischen Landesförderung fort (AK E-Learning Projekte ISLA und IWOhL). Es adressiert mit der dahinterliegenden Social Learning Analytics eines von 4 zentralen Elementen des an meiner Professur im Rahmen von mittlerweile 4 abgeschlossenen und 4 laufenden Promotionsvorhaben erforschten und seit über 20 Jahren in der Lehrpraxis regelmäßig erprobten, evaluierten und iterativ weiter entwickelten VCL-Frameworks (Virtual Collaborative Learning). Gegenstand sind vollständig online ablaufende, ca. 2-monatige Fallstudienarbeiten in international gemischten, kollaborativen Kleingruppen von 4-6 Teilnehmenden, die durch speziell qualifizierte E-Tutors begleitet werden. Durch Rückgriff auf vorliegende, durch Analytics erhobene Interaktionsdaten werden deren formatives Feedback und die auf ihren Beobachtungen aufsetzende formative Bewertung der Lernzielerreichung (Entwicklung von Digitalkompetenz, verstanden als Medien-, Kollaborations-, Fachmethoden- und interkulturelle Kompetenz) objektiviert, qualitativ verbessert und als Nebeneffekt (Front-End und Back-End Tutoring) rationalisiert.
Welche Hürden müssen Sie im Projekt überwinden?
Professor Schoop: Eigentlich erstaunlich wenig. Da das Gesamtvorhaben, wie in der vorherigen Antwort skizziert, lange etabliert ist und entsprechende Evaluationsdaten sowie wesentliche Indikatoren für die Messung des Kompetenzfortschritts bereits vorliegen, konzentrieren sich unsere Arbeiten auf die Implementierung und Verfeinerung des Ansatzes. Wir arbeiten mit Hilfe eines selbst entwickelten Data Warehouse, in welches die mitlaufend gemessenen Interaktionsdaten aus der von uns genutzten Kollaborationsplattform MS Teams (also die gesamte Microsoft 365 Produktpalette für die Aufgabenlösungen in den studentischen Lerngruppen) importiert und dort aggregiert werden. Auf der Ausgabeseite werden von einem GPT-basierten Conversational Agent Information Dashboards zur Beantwortung von Anfragen durch E-Tutors oder Studierende generiert.
Die Haupthürde besteht in dem sich immer wiederholenden Abwehrkampf gegen die fälschlicherseits geschwungene „Datenschutz“-Keule. Wir ziehen zur Notenfindung der studentischen Lernleistungen dieselben Indikatoren heran, wie sie seit Jahrzehnten in der analogen Prüfungsumgebung in realen Räumen bei Seminaren und Projektgruppenarbeiten kritiklos als notwendig hingenommen werden (Beobachtungstabellen, Strichlisten bezüglich Wortmeldungen oder qualitativ zu bewertenden Beiträgen einzelner Studierender in ihren Arbeitsgruppen, …). Da es jetzt aber DIGITAL erfolgt (also objektiv, nachvollziehbar, in schützbaren digitalen Umgebungen anstelle per Zettelwirtschaft), bricht plötzlich Panik aus. Unsere wahlpflichtigen VCL-Module folgen natürlich den Vorgaben der BDSGVO, die Studierenden sind informiert und haben entsprechende Erklärungen unterzeichnet, die Daten werden auf deutschen Servern verwaltet.
Wird studierendenzentrierte Lehre durch Ihr Projekt gefördert und wenn ja, in welcher Form?
Professor Schoop: Im Fokus unserer COIL Module (collaborative online international learning) auf Basis des zuvor skizzierten VCL-Frameworks stehen selbstorganisierte, interaktive studentische Lernprozesse, es erfolgt keine „vermittelnde“ Lehre (Vorlesung). Anhand authentischer Fallszenarien mit hohem Praxisbezug und bewusst offen gehaltenen Problemstellungen, aus denen wöchentliche konkrete Arbeitsaufträge abgeleitet werden, interpretieren die Studierenden selbstständig die Aufgaben, entwickeln die Lösungen, teilen die Arbeitsschritte untereinander kompetenzorientiert auf und entscheiden sich für geeignete Werkzeuge. Dieser Komplexität geschuldet, stellen wir den online Lerngruppen ebenfalls online beobachtende und ggf. intervenierende Lernbegleitende E-Tutors zur Seite, die, wie zuvor erläutert, auf objektiver Datenbasis entscheiden, ob, wann und in welcher Form sie intervenieren/korrigieren. Mit zunehmendem Projektverlauf wird, dem Scaffolding Prizip folgend, die aktive Lernprozessbegleitung immer mehr durch reaktives Feedback ersetzt.
Welche Vorteile sehen Sie in der Verortung Ihres Vorhabens innerhalb des Verbundes „E-Assessment und Kompetenzmessung“? Wie schätzen Sie den fachlichen Austausch mit den Kolleginnen und Kollegen des Verbundvorhabens ein?
Professor Schoop: Unser Vorhaben ist in dem Verbund gut eingebunden und ergänzt durch den gewählten spezifischen Ansatz die anderen Verbundvorhaben. Der fachliche Austausch funktioniert seit Jahren gut.